Ngô Thiếu Thành chào đời năm Thiên Bảo cửu niên (750) đời vua Huyền Tông nhà Đường. Nguyên quán của ông là huyện Lộ, U châu[4][5]. Phụ thân của ông từng giữ chức Ngụy Bác [6] tiết độ đô ngu hậu. Thiếu Thành do vậy được hưởng lệ ấm, được phong chức thích Hạt vương phủ hộ tào, bảo vệ trong vương phủ. Về sau trong một lần được cử tới đất Kinh Nam[7], tiết độ sứ Dữu Chuẩn hâm mộ tài nghệ của ông nên lưu lại làm Nha môn tướng bảo vệ phủ của mình[5].

Tuy nhiên về sau Dữu Chuẩn bị triệu về kinh thành Trường An, Ngô Thiếu Thành cũng đi theo. Khi đi qua đất Tương Hán thuộc trấn Sơn Nam Đông Đạo[8], nhận thấy tiết độ sứ Lương Sùng Nghĩa bất tuân triều mệnh, có mưu đồ khác, Thiếu Thành viết ra phương sách đánh diệt rồi khi đến kinh đô, ông tìm cơ hội đệ trình lên Đường Đức Tông (779 - 805)[5]. Khi đó tiết độ sứ Hoài Tây là Lý Hi Liệt cũng muốn diệt Lương Sùng Nghĩa, nên Đức Tông cử ông đến phục vụ Hi Liệt.

Năm 781, Lương Sùng Nghĩa cùng ba trấn ở Hà Bắc gồm Ngụy Bác[6], Thành Đức[9] và Lư Long[10] tạo phản chống lại nhà Đường. Nhà Vua cử quân đánh dẹp và điều động tiết độ sứ các nơi giúp quân, trong đó Lý Hi Liệt chỉ huy đội quân chủ lực đánh Lương Sùng Nghĩa, đội quân này do Ngô Thiếu Thành làm tiên phong. Cuối cùng quân Hoài Tây tiêu diệt được Sùng Nghĩa. Nhờ lập công, Ngô Thiếu Thành được phong đất 5000 hộ. Tuy nhiên ngay sau đó Lý Hi Liệt trở mặt chống lại triều đình, tự xưng là hoàng đế nước Đại Sở năm 784[11]. Ngô Thiếu Thành tiếp tục phục vụ dưới trướng Lý Hi Liệt.